Эволюция обработки естественного языка и архитектура трансформеров
Лекция
Урок 3
Дата
21.04.2026
Преподаватель
ИИ-наставник
Длительность
60 мин
Цели обучения
Проанализировать ограничения рекуррентных нейронных сетей (RNN) и долговременной краткосрочной памяти (LSTM) при работе с зависимостями на больших расстояниях
Определить математические основы механизма самовнимания (Self-Attention)
Разобрать архитектуру трансформера (encoder-decoder) и её компоненты
Оценить роль позиционного кодирования и многоголового внимания в моделировании последовательностей